Основы работы с Apache Kafka на базе платформы Arenadata Streaming

10-12 ноября

Курс «Основы работы с Apache Kafka на базе платформы Arenadata Streaming» поможет сформировать представление об архитектуре и функционировании кластера Apache Kafka. Участники изучат архитектуру и инструменты Apache Kafka, включая ключевые концепции и объекты, такие как Consumers, Producers и Topics. практической части курса слушатели познакомятся с инструментами для разработки и сборки кода на языке Java в IDE для работы с Kafka API’s, а также научатся настраивать обмен данных кластера Kafka и внешних систем с помощью Kafka Connect и создавать собственные коннекторы. Рассмотрят основные возможности потоковой обработки данных с помощью Kafka Streams

Записаться на курс Программа курса Задать вопрос

Преимущества курса

Трёхдневный практический курс

Курс по администрированию, установке и настройке безопасности кластера Apache NiFi, который направлен на изучение ключевых аспектов работы с платформой Arenadata Streaming

Что представляет собой курс

Курс «Основы работы с Apache Kafka на базе платформы Arenadata Streaming» практический тренинг, посвящённый использованию Apache Kafka в среде Arenadata Streaming, а также разработке и запуску приложений с использованием Kafka API на Java. В его рамках участники получат теоретические знания и практический опыт.

Аудитория курса

Аудитория курса включает в себя IT-специалистов, которые хотят повысить свою квалификацию в области управления потоковыми данными кластеров Apache Kafka в составе платформы Arenadata Streaming. Курс предназначен для начинающих разработчиков, инженеров данных и архитекторов. Курс будет полезен как для начинающих, так и для опытных специалистов, стремящихся расширить свои знания и умения в области работы с распределенной системой потоковой обработки данных − Arenadata Streaming.

Слушателям необходимо обладать следующим уровнем подготовки:

  • опыт в программирования на современном языке (предпочтительно Java);
  • знания и навыки работы с командами и сервисами Linux-систем (командная строка, файловая система, текстовые редакторы vi, vim, nano и др.);
  • опыт работы с SQL.

Сертификация

  • Слушателям, успешно прошедшим сертификацию, выдается именной вендорский сертификат.
  • Слушателям курса предоставляется 2 попытки для прохождения проверки знаний.
сертификат

Программа обучения

Модуль 1

Обзор Arenadata Enterprise Data Platform и Arenadata Streaming

  • Экосистема EDP: Arenadata Streaming, Arenadata Hyperwave, Arenadata DB, Arenadata QuickMarts, Arenadata Postgres, Arenadata Cluster Manager.
  • Arenadata Streaming: основные компоненты и назначение (Kafka Broker, Kafka Connect Worker, Kafka-Manager, Kafka REST Proxy, ksqlDB Client, ksqlDB, Schema-Registry, NiFi Registry, NiFi Server, MiNiFi, ZooKeeper).
  • Arenadata Streaming Control.
  • Arenadata Platform Security.
Модуль 2

Подготовка окружения и установка ADS: ZooKeeper/KRaft, Apache Kafka, Monitoring, ADS Control

  • Планирование кластера: типы узлов, профили нагрузки, аппаратное обеспечение, примеры кластеров.
  • Настройка параметров окружения: подготовка к установке, настройка сети и DNS, монтирование и настройка файловой системы. Лабораторная работа.
  • Введение в Arenadata Cluster Manager: основные понятия, компоненты и возможности, развертывание.
  • Установка и настройка ADS: планирование и первичная конфигурация кластера, мониторинг, установка Arenadata Streaming, конфигурирование сервисов (ZooKeeper/KRaft, Apache Kafka).
  • Мониторинг ADS Prometheus/Graphite (Deprecated): архитектура сервиса/кластера мониторинга. Лабораторная работа.
  • Arenadata Streaming Control (ADS Control): планирование кластера, настройка параметров окружения и установка, обзор UI, базовые операции.
Модуль 3

Архитектура и инструменты Apache Kafka

  • Базовые концепции и объекты Kafka: Consumers, Producers, Topics, Partitions, Segments, Replication, Offset, Messages, consumer groups, Brokers, Schemas.
  • Topics Kafka:
    1. Основные операции (создание, управление, мониторинг, console CLI, partitions, replication, compression, retention).
    2. Настройка программных инструментов: Java IDE (IntelliJ IDEA CE), Build Tool (Apache Maven).
  • Гарантии надежности Kafka (доставка/потребление).
  • Контроллер Kafka. ZooKeeper/KRaft.
  • Producers Kafka:
    1. Запись сообщений в Kafka, console Producer.
    2. Настройка Producers.
    3. Producer API. Пример настройки Auth.
  • Consumers Kafka:
    1. Сonsumer groups, ребалансировка разделов.
    2. Настройка Consumers.
    3. Consumer API. Пример настройки Auth.
  • Schema Registry:
    1. Архитектура. Типы схем. Lifecycle. Schema compatibility. Пример эволюции схем (Kafka Java Clients).
  • Kafka REST Proxy:
    1. Основные возможности и примеры использования.
Модуль 4

Kafka Connect

  • Основные понятия и инструменты. API. Установка Self-Managed Connectors. Пример использования (FileStream Connectors).
  • Создание собственных Plugin Connectors. Пример создания, упаковки и тестирования собственного Plugin Connector (Maven, Java).
  • Основные операции ADS Control: управление и добавление коннекторов. Настройка MirrorMaker, Mirror Connectors. Пример настройки. Лабораторная работа.
  • CDC Debezium: архитектура; пример использования (MS SQL); JDBC sink. Лабораторная работа.
  • SMT (Single Message Transforms).Основные возможности. Debezium Transformation/собственный класс трансформации. Примеры реализации.
Модуль 5

ksqlDB

  • Основные возможности и примеры использования. Управление потоками.
Модуль 6

Kafka Streaming API

  • Основные понятия, архитектура и инструменты.
  • Пример приложения Kafka Streams c использованием SpringBoot API (Java).

Итоговое тестирование

«Основы работы с Apache Kafka на базе платформы Arenadata Streaming»

Ближайший старт:

10-12 Ноября

Длительность:

3 дня , 24 ак.ч.

Записаться на курс

Спасибо, что написали нам!

Мы обработаем заявку и свяжемся с вами в ближайшее время.

Будем рады помочь!

Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.

Корпоративная группа *
Фамилия *
Имя *
Должность/Роль в компании *
Эл. почта *
Телефон *
Наименование компании *
Опишите ваш вопрос
ошибка! проверьте правильно ли вы заполнили поля

Остались вопросы?

Если вы не нашли ответа на свой вопрос, вы можете воспользоваться формой обратной связи

хочу спросить

Как проходит обучение

Обучение проходит дистанционно в формате вебинаров. Теория перемежается с лабораторными работами, стенд разворачивается для каждого участника, с преподавателями можно общаться на протяжении всего обучения как голосом, так и в чате.

Занятия проводятся с отрывом от производства.

Время проведения занятий с 10:00 до 18:00 мск, если курс рассчитан на целый день.

Корпоративное обучение

Если ваша компания планирует внедрять решения Arenadata или уже работает с ними, вы можете воспользоваться возможностями корпоративного обучения и записать на интересующий курс команду от десяти человек.

Открытые группы

Периодически обучение проходит в смешанных открытых группах. Если вы планируете обучить менее 10 сотрудников, то смело записывайтесь в одну из них. Ориентироваться можно на расписание ниже.

Оставьте заявку на обучение и мы расскажем вам подробнее о том, как набирается группа и сколько свободных мест осталось.

Что получает слушатель по окончанию занятий

После успешной сдачи итогового тестирования, участникам выдается именной вендорский сертификат.

Хотите записаться на курс?

Да, хочу!

Этот сайт использует cookie-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.